Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

Đáp án B.

Ta có y ' = 2 x 2 + 2 m + 1 x + m 2 + 4 m + 3 ;   ∀ x ∈ ℝ .  

Phương trình y ' = 0 ⇔ 2 x 2 + 2 m + 1 x + m 2 + 4 m + 3 = 0    (*).

Để hàm số đã cho có 2 điểm cực trị ⇔ (*) có 2 nghiệm phân biệt ⇔ ∆ ' > 0 ⇔ - 5 < m < - 1 .  

Và các điểm cực trị của hàm số nằm bên phải Oy ⇔ m 2 + 4 m + 3 > 0 ⇔ [ m > - 1 m < - 3 .  

Vậy  - 5 < m < - 3  là giá trị cần tìm.

\(\Leftrightarrow y'=0\) 

có 2 nghiệm phân biệt \(x_1,x_2\) thỏa mãn \(x_1\)<\(x_2\)<1

\(\Leftrightarrow\)\(\begin{cases}\Delta'=4m^2-m-5>0\\f\left(1\right)=-5m+7>0\\\frac{S}{2}=\frac{2m-1}{3}<1\end{cases}\)\(\Leftrightarrow\)\(\frac{5}{4}\)<m<\(\frac{7}{5}\)

Ta có : \(y'=3x^2-6mx+3\left(m^2-1\right)\)

Để hàm số có cực trị thì phương trình \(y'=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow x^2-2mx+m^2-1=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow\Delta=1>0\) với mọi m

Cực đại của đồ thị hàm số là A(m-1;2-2m) và cực tiểu của đồ thị hàm số là B (m+1; -2-2m)

Theo giả thiết ta có :

                         \(OA=\sqrt{2}OB\Leftrightarrow m^2+6m+1\Leftrightarrow\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

Vậy có 2 giá trị m là \(\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

Ta có \(y'=3x^2-3\left(m-2\right)x-3\left(m-1\right)\), với mọi \(x\in R\)

\(y'=0\Leftrightarrow x^2-\left(m-2\right)x-m+1=0\Leftrightarrow x_1=-1;x_2=m-1\)

Chú ý rằng với m > 0 thì \(x_1< x_2\). Khi đó hàm số đạt cực đại tại \(x_1=-1\) và đạt cực tiểu tại \(x_2=m-1\). Do đó :

\(y_{CD}=y\left(-1\right)=\frac{3m}{2};y_{CT}=y\left(m-1\right)=-\frac{1}{2}\left(m+2\right)\left(m-1\right)^2+1\)

Từ giả thiết ta có \(2.\frac{3m}{2}-\frac{1}{2}\left(m+2\right)\left(m-1\right)^2+1\Leftrightarrow6m-6-\left(m+2\right)\left(m-1\right)^2=0\)

                                                                              \(\Leftrightarrow\left(m-1\right)\left(m^2+m-8\right)=0\Leftrightarrow m=1;m=\frac{-1\pm\sqrt{33}}{2}\)

Đối chiếu yêu cầu m > 0, ta có giá trị cần tìm là \(m=1;m=\frac{-1\pm\sqrt{33}}{2}\)

Ta có : \(y'=3x^2-6x+m^2\Rightarrow y'=0\Leftrightarrow3x^2-6x+m^2=0\left(1\right)\)

Hàm số có cực trị \(\Leftrightarrow\left(1\right)\) có 2 nghiệm phân biệt \(x_1;x_2\)

                           \(\Leftrightarrow\Delta'=3\left(3-m^2\right)>0\Leftrightarrow-\sqrt{3}< m< \sqrt{3}\)

Phương trình đường thẳng d' đi qua các điểm cực trị là : \(y=\left(\frac{2}{3}m^2-2\right)x+\frac{1}{3}m^2\)

=> Các điểm cực trị là :

\(A\left(x_1;\left(\frac{2}{3}m^2-2\right)x_1+\frac{1}{3}m^2+3m\right);B\left(x_2;\left(\frac{2}{3}m^2-2\right)x_2+\frac{1}{3}m^2+3m\right);\)

Gọi I là giao điểm của hai đường thẳng d và d' :

\(\Rightarrow I\left(\frac{2m^2+6m+15}{15-4m^2};\frac{11m^2+3m-30}{15-4m^2}\right)\)

A và B đối xứng đi qua d thì trước hết \(d\perp d'\Leftrightarrow\frac{2}{3}m^2-2=-2\Leftrightarrow m=0\)

Khi đó \(I\left(1;-2\right);A\left(x_1;-2x_1\right);B\left(x_2;-2x_2\right)\Rightarrow I\) là trung điểm của AB=> A và B đối xứng nhau qua d

Vậy m = 0 là giá trị cần tìm